Tùy Dạng Đế trở nên không hài lòng trước việc Lý Uyên và Vương Nhân Cung (王仁恭) thái thú quận Mã Ấp (馬邑, nay gần tương ứng với Sóc Châu, Sơn Tây) không thể ngăn chặn quân Đông Đột Quyết và các đội quân nổi dậy đang ngày càng lớn mạnh. Trong số các thủ lĩnh nổi dậy, Định Dương khả hãn Lưu Vũ Chu được Đột Quyết hỗ trợ, kết quả đã giết được Vương Nhân Cung và chiếm được Phần Dương cung (gần Thái Nguyên) của Tùy Dạng Đế. Lý Uyên cũng lo sợ do lời sấm "Lý thị đương vương" lan truyền khắp nơi, và trên thực tế Tùy Dạng Đế đã sát hại Lý Hồn (李渾) và gia tộc của người này.

Theo thư tịch cổ được biên soạn dưới thời Đường Thái Tông Lý Thế Dân, Lý Thế Dân bí mật lập kế hoạch nổi dậy chống triều đình Tùy cùng với Tấn Dương cung phó giám Bùi Tịch và Tấn Dương huyện lệnh Lưu Văn Tĩnh, song ban đầu không tiết lộ kế hoạch của họ với Lý Uyên. Bùi Tịch trước đó đã làm trái quy định khi cho phép Lý Uyên thông gian với một số phi tần của Tùy Văn Đế, Lý Thế Dân đã đề xuất Bùi Tịch thuyết phục Lý Uyên rằng việc nổi dậy là cần thiết. Tuy nhiên, các nhà nghiên cứu lịch sử hiện đại kết luận rằng việc nổi dậy là do Lý Uyên chủ động tiến hành.

Lý Uyên bắt đầu tập hợp binh lính trong vùng, tuyên bố rằng việc này là để chống lại Đột Quyết, song khiến quận thừa Vương Uy (王威) và võ nha lang tướng Cao Quân Nhã (高君雅) nghi ngờ. Lý Uyên được Tấn Dương hương trưởng Lưu Thế Long thông báo, vì sợ rằng Vương Uy và Cao Quân Nhã sẽ có hành động chống lại mình trước, ông quyết định dùng một cuộc tiến công của Đột Quyết làm cớ để vu cáo rằng Vương Uy và Cao Quân Nhã liên kết với Thủy Tất khả hãn của Đông Đột Quyết và cho xử tử hai người. Lý Uyên bí mật phái người đến Hà Đông lệnh cho Lý Kiến Thành đưa gia quyến đến Thái Nguyên, và đến Trường An để triệu con gái và con rể Sài Thiệu (柴紹). Lý Kiến Thành và Lý Nguyên Cát đã để Lý Trí Vân ở lại Hà Đông, sau đó thì gặp Sài Thiệu và họ cùng đi đến Thái Nguyên. Bình Dương công chúa cho rằng bà và Sài Thiệu sẽ khó có thể cùng nhau chạy trốn nên đã chọn cách lẩn trốn.

Lý Uyên sau đó chính thức nổi dậy, song bề ngoài vẫn tỏ vẻ trung thành với triều Tùy và tuyên bố mục đích của ông chỉ là tôn Đại vương Dương Hựu làm hoàng đế và để Tùy Dạng Đế làm thái thượng hoàng. Đầu tiên, Lý Uyên bảo đảm mặt bắc bằng cách liên hệ với Thủy Tất khả hãn, dâng đồ cống nạp, nhận được binh mã. Lý Uyên giao cho Lý Kiến Thành và Lý Thế Dân thống soái quân đội, để Lý Nguyên Cát trấn thủ Thái Nguyên, tiến về phía nam. Trong khi đó, các quan lại triều Tùy ở Hà Đông đã bắt Lý Trí Vân, giải đến Trường An, Lý Trí Vân bị xử tử. Sau thời gian lẩn trốn, con gái của ông đã quy phục nhiều thủ lĩnh nổi dậy khác ở khu vực quanh Trường An, bà chiếm được một số thành và tập hợp được đến 7 vạn quân, hiệu là "Nương tử quân".

Lý Uyên cũng viết thư cho một thủ lĩnh nổi dậy khác là Ngụy công Lý Mật, khi đó đang ở gần Lạc Dương, mục đích là để thăm dò Lý Mật có muốn theo mình không, song Lý Mật tin tưởng vào thực lực của mình nên đã sai ký thất Tổ Quân Ngạn viết thư hồi đáp Lý Uyên với lời lẽ cao ngạo. Lý Uyên thấy lời lẽ của Lý Mật thì bị mất tinh thần song vì không muốn có thêm kẻ thù nên đã hồi thư một cách khiêm nhường. Lý Mật hài lòng với phản ứng của Lý Uyên, cho rằng Lý Uyên sẵn lòng ủng hộ cho mình, và cũng từ thời điểm đó, Lý Mật và Lý Uyên thường trao đổi sứ giả.

Khi Lý Uyên tiến đến gần Hà Đông, quân của ông bị sa lầy do thời tiết, thực phẩm thì cạn kiệt, còn xuất hiện tin đồn Đông Đột Quyết và Lưu Vũ Chu sẽ tiến công Thái Nguyên. Lý Uyên thoạt đầu ra lệnh triệt thoái, song do bị Kiến Thành và Thế Dân phản đối nên ông đã đổi ý, tiếp tục tiến quân. Sau khi đánh bại quân Tùy tại Hoắc Ấp (霍邑, nay thuộc Vận Thành, Sơn Tây), Lý Uyên quyết định tách một đội quân nhỏ để canh giữ Hà Đông, còn đại quân vượt Hoàng Hà tiến vào Quan Trung.

Lý Uyên tự mình dẫn quân tiến đến Trường An, cử Lý Kiến Thành dẫn quân đi chiếm các lãnh thổ quanh Đồng Quan nhằm ngăn quân Tùy từ Lạc Dương đến cứu viện Trường An, cử Lý Thế Dân tiến về phía bắc để chiếm các lãnh thổ ở khu vực Vị Hà. Con gái của Lý Uyên cũng hội quân với Lý Thế Dân và Sài Thiệu. Ngay sau đó, Lý Uyên củng cố lại đội ngũ và bao vây Trường An. Vào mùa đông năm 617, Trường An thất thủ, Lý Uyên tôn Dương Hựu làm hoàng đế, tức Tùy Cung Đế. Lý Uyên tự lập mình làm đại thừa tướng, nắm quyền phụ chính, tước hiệu Đường vương. Tuy nhiên, hầu hết quan lại và tướng lĩnh địa phương của Tùy không công nhận Cung Đế là vua, họ vẫn xem Dạng Đế là hoàng đế hợp pháp. Lý Uyên phái Lý Hiếu Cung suất quân tiến về phía nam, Lý Hiếu Cung đã thuyết phục được các thành của Tùy tại khu vực nay là Thiểm Nam, Tứ Xuyên và Trùng Khánh quy phục triều đình Trường An (do Lý Uyên kiểm soát).